#Environment Generation - AI Papers Daily

Verifiable Hidden Dynamics Play: Generating Agentic RL Environments from Solved Mechanisms

从已解机制生成可验证隐藏动态的智能体RL环境

🧭 Agentic RL 环境生成与策略训练 ★ 深度解读

Georgia Institute of Technology · Alibaba Token Foundry, Alibaba Group

先求解运筹模型再渲染为有状态工具环境，用同一参考解固定奖励，低成本生成可验证的Agentic RL训练环境

📌 工作参考价值（4 点）

借鉴机制优先构建：在电商/供应链场景，可用库存控制、路径规划、调度等运筹模型作为底层机制，用求解器预先算出最优值和默认策略值，生成可执行环境并归一化奖励（r=(u-u0)/(u*-u0)），避免人工标注或 LLM judge，获得可靠训练信号。
通过语料库 grounding 让同类机制产生多样场景：从商品文案、物流文档、活动规则等真实语料采样，让 LLM setter 生成具体工具、数据库和玩家指令，低成本扩增训练环境（每条约 $0.01–$0.03）；可迁移到电商长周期店铺运营、库存补货、多仓履约等 Agent 训练。
设计信息不对称接口训练主动信息获取：将需求、库存、价格等关键参数设为隐藏，要求 Agent 通过 probe 工具查询后再决策；论文显示同一模型 written-out 分数 0.962 但 agentic 仅 0.204，说明有状态交互是主要短板，训练后提升至 0.815；可在对话式导购、动态定价、客服工单处理中应用。
使用 GRPO 对同一环境的多条 rollout 做组内对比，配合 admission 检查（可执行性、默认奖励区间、最优解一致性）保证环境质量；同时实验表明冻结 35B setter 即可生成有效环境，无需前沿模型，可降低工程门槛。

Agent | 2026-09-22 | HF Daily | score 8/10

SPADE：自适应合成可执行环境中的自博弈

🧭 自博弈强化学习 · 可执行环境生成 ★ 深度解读

University of Washington · Stanford University · Northeastern University · Carnegie Mellon University · Massachusetts Institute of Technology

提出 SPADE 框架，让 LLM 在环境设计者与推理智能体双角色间自博弈，通过 hint-based regret 生成能力前沿的代码环境，实现开放自我改进

📌 工作参考价值（4 点）

模拟用户/环境生成：在电商多轮对话、推荐 Agent、搜索工具调用等场景，可用可执行代码环境（Gym reset/step）生成可验证的多轮交互任务，统一单轮与多轮 RL 训练。用商品数据库、用户行为日志构建沙盒，设计者生成任务，推理智能体进行工具调用；hint-based regret 自动调整难度，比固定难度或纯对抗更稳定。
语料库 grounding + 记忆：从真实用户日志、商品描述、搜索日志中采样作为环境生成条件，保持生成任务多样性，防止模式崩溃；用 memory buffer 存储高 regret 任务或难样本，避免重复生成已掌握场景。电商推荐中可用于生成多样化的用户目标/场景，持续提供训练信号。
稳定化训练技巧：双角色共享同一模型但独立优势归一化；延迟生成器更新并配合截断重要性采样；asymmetric clipping (ε_low=0.2, ε_high=0.28) 保留探索；regret 信号 floor 到 0 并混合难度锚点。这些在联合训练生成模型和策略模型的 RL 中可直接复用。
可验证奖励设计：工具使用环境包含状态检查和确定性 reset gate，确保任务可解且可验证；在电商多轮交互中可设计类似的成功准则检查，过滤无效环境，提高 RL 数据质量。

Training | 2026-08-19 | cs.CL | score 8/10